论文 | 自适应样本加权的联邦学习算法

近日，分布式人工智能实验室2020级博士生赵兴莹与沈栋教授合作的论文“FedSW: Federated Learning with Adaptive Sample Weights”被计算机科学领域顶级期刊Information Sciences接收发表。

研究背景

高泛化性能的机器学习依赖于大规模数据和模型，但出于隐私考虑，数据拥有方通常不愿意共享，可以通过联邦学习（FL）来实现多方的合作训练。联邦学习通过服务器协同客户端训练模型，共享训练参数而不共享客户端的数据。然而，客户端的数据集通常具有统计差异性，在每次迭代开始时，每个客户端接收全局模型并使用自己的数据对其进行更新。这导致模型参数的显著变化并增加了模型损失。因此，训练过程表现出不稳定的收敛性，并且对超参数非常敏感。模型波动的根本原因在于异常样本的存在。

因此，我们提出了一种基于Self-paced learning的自适应样本加权算法。该算法将客户端优化目标定义为加权经验损失和关于每个样本的权重的正则化项之和，实现根据每个样本在全局模型上输出的损失自适应调整每个样本的权重。这种方法更有效地实现在异质性数据分布和噪声数据下的训练。

主要工作

本文主要考虑的优化目标是最小化M个客户端经验风险的平均值： 

在计算客户端经验风险目标时，我们基于Self-paced learning结合样本权重正则化项： 

通过交替迭代方法分别计算全局模型和样本权重： 

另外，无法得知正则化器的解析形式，也可以从鲁棒损失函数中推导出隐式自适应学习正则化器，并且可以直接得出样本损失和样本权重之间的关系。文中使用Welsch损失函数作为隐式Self-paced正则化项的推导器，可以得到样本损失与权重的表达关系： 

于是，客户端局部的迭代可以表示为： 

实验结果

通过将数据加权方法与现有的模型优化技术结合起来，算法性能有显著改善。在本研究中，我们将样本加权方法应用于FedAvg、FedProx、SCAFFOLD、FedDyn、Moon、FedCurv、FedNova和 FedNTD算法。我们考虑了 CIFAR-10 的不同异质性程度的分布。由于 CIFAR-100 数据难度大，更高的异质性导致联邦优化算法均无法收敛。因此，设置较低的数据异质性参数（s=10）。对于较简单的 MNIST 和 FMNIST 数据集，我们在最大的异质性参数下进行实验。实验结果显示，在 MNIST 数据集上，应用样本加权与 FedNova算法时，准确率最大提高约19%。 

我们的方法同时还能有效减少噪声的影响，改善了各种噪声比例和数据集上的性能。例如，在MNIST数据集上，即使少量噪声情况下（cr=0.1），FedAvg算法的准确率相比干净数据降低了约31%。相比之下，即使噪声增加到30%，我们方法准确率也只比干净数据集上的准确率小9.4%。其他模型和数据集也观察到类似的结果。 

第一作者 

赵兴莹 2020级博士

期刊介绍

Information Sciences是ELSEVIER（爱思唯尔）出版社旗下刊物，于1968年创刊。该期刊发表高质量、经过同行评议的文章。主题包括：信息论、数学语言学、自动机理论、认知科学、定性行为理论、人工智能、计算智能、软计算、符号学、计算生物学和生物信息学等。期刊影响因子为8.1。